Bản đồ tỉnh Gia Định năm 1815 do Trần Văn Học vẽ (có chú thích các địa danh) thể hiện vị trí của chùa Cây Mai

Tên chùa Cây Mai được đặt theo tên một loài nam mai hay còn gọi là bạch mai[2], mai mù u [3], tên khoa học là Ochrocarpos siamensis giống odoratissimus, thuộc họ Măng cụt (Guttiferae, nay họ này được gọi là Clusiaceae).

Theo Đại Nam nhất thống chí, chùa nằm ở địa phận thôn Phú Giáo, huyện Tân Long (phủ Tân Bình, tỉnh Gia Định), nơi gò cao có bảy cây mai, bóng ngả lơ thơ, mùi hương phảng phất, rất thích ý cho những kẻ tầm phương du lãm. Người xưa đã lập chùa Ân Tôn (hay Ân Tông) trên đỉnh gò.[4]

Trịnh Hoài Đức (1765-1825), một trong Gia Định tam gia, đã mô tả cảnh chùa như sau:

Cách trấn mười ba dặm rưỡi về phía Nam, gò đất nổi cao, có nhiều nam mai, thân già cỗi, nhưng khi hoa nở không có tuyết, chỉ có lá che chở hương thơm mà thôi. Hoa bẩm linh khí sinh ra nên không đem trồng nơi khác được. Trên gò có chùa Ân Tông, đêm tụng kinh, tối đánh chuông lớn, thanh âm vang rền trong mây khói, giống như thế giới núi Thứu Lĩnh, suối trong chảy quanh chân gò, chiều mát các cô gái chống thuyền hái sen. Gặp lúc trời tốt tiết đẹp, văn nhân thi sĩ mang bầu rượu theo từng bực đi lên đầu gò ngâm vịnh dưới hoa, câu thơ phảng phất mùi hương, thật là một thắng cảnh cho khách du lãm.Gò này xưa là chùa tháp của Cao Miên, nền móng còn nhận rõ. Năm Bính Tý, Gia Long thứ 15 (1816), có nhà sư nhân sửa chùa đào được nhiều tấm ngói gạch lớn và hai tấm vàng lá hình vuông mỗi cạnh một tấc, mỗi tấm nặng ba đồng cân, trên mặt có chạm hình phật xưa cưỡi voi, có lẽ đây là vật trấn tháp của nhà sư Miên chăng? [5]

Thời Pháp thuộc, Trương Vĩnh Ký (1837-1898) còn cho biết thêm:

...Xưa là chùa Cao Miên, chung quanh toàn hồ ao dùng làm nơi đua thuyền kính Phật. Chùa được người Nam tôn tạo lại. Dưới thời vua Minh Mạng, khi Nguyễn Tri Phương (1800-1893) cùng vô Nam với Phan Thanh Giản (1796-1867), ông đã cho xây thêm một nhà chòi có lầu (Phương đình).".[4]